Phan Ngọc Nhi, nguyên danh là Du Ni Tử (俞妮子), sinh ra trong một gia đình nghèo, cha là Du Bảo Khánh (潘寶慶). Tiểu sử trước khi Phan thị gặp Tiêu Bảo Quyển rất mơ hồ, chỉ biết bà từng là nhạc kỹ trong phủ Tư mã Vương Kính Tắc (王敬则)[1].

Năm Kiến Vũ thứ 5 (498), mùa thu, Nam Tề Minh Đế qua đời, Thái tử Tiêu Bảo Quyển trở thành người kế vị ngai vàng. Trong thời gian đó, Du Ni Tử được Tiêu Bảo Quyển để mắt đến, thập phần sủng ái, vượt hơn Hoàng hậu Chử Lệnh Cừ[2]. Để xóa bỏ nguồn gốc ti tiện của bà, Tiêu Bảo Quyển cho đổi gia đình bà từ họ họ Du thành họ Phan, do đó Du Ni Tử có tên họ mới là [Phan Ngọc Nhi]. Thuyết này khi ấy chép rằng, Tống Văn Đế Lưu Nghĩa Long có một phi tử họ Phan (là Phan Thục phi), mà Văn Đế tại vị 30 năm, Tiêu Bảo Quyển vì muốn mình cũng có thể trị vì lâu như vậy, quyết định cải họ của sủng phi Du Ni Tử thành họ Phan, mang ý may mắn[3].

Mẹ của Thái tử Tiêu Tụng là Hoàng Quý tần mất sớm, Tiêu Bảo Quyển bèn cho Phan Ngọc Nhi nuôi nấng, sau cũng phong bà thành Quý phi[4]. Phan Ngọc Nhi từng có thai một công chúa, nhưng nhanh chóng bị sẩy[5]. Khi xưa, khi cha Tiêu Bảo Quyển chết, y coi như không, thậm chí còn cười đùa, ăn tiệc như không hề có chuyện gì xảy ra. Thế nhưng, khi đứa con do Phan Ngọc Nhi sinh ra chết đi, Tiêu Bảo Quyển lại tỏ ra đau xót vô cùng. Y bỏ hết lụa là châu báu trên người, chỉ mặc quần áo gai và ăn cơm rau, hơn một tháng không hề bày tiệc, nghe ca múa[6].